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基于 混合 损失 联合 调 优 与 多 尺度 分 类 相 结 合 的 肺 结 节 检测 算法 
WFE, sk F 


(清华 大 学 电子 工程 系 ,北京 100084) 


摘 要 : 针对 CT 图 像 的 肺 结 节 自动 检测 任务 中 检测 灵敏 度 en ， 提 出 了 一 个 基于 混合 损失 的 


三 维 全 卷 积 网 络 与 基于 注意 力 的 多 尺度 三 维 残 差 网 络 相 结合 的 肺 结 节 检 测 方法 。 首 先 ， 基 于 相似 度 损 失 预 训练 三 维 全 
卷 积 网 络 ， 利 用 该 网 络 筛选 难 例 样本 ， 并 基于 混合 损失 将 难 例 ODANA 行 联合 调 优 得 到 候选 结 节 — 用 于 快 
HARM; 然后 ， 利 用 基于 注意 力 的 多 尺度 三 维 残 差 卷 积 网 络 对 疑似 结 节 进 行 分 类 ， 从 候选 结 节 中 精确 地 分 辨 
出 真正 结 节 。 在 LUN16 数据 集 上 ， 候 选 0 度 在 每 个 病例 的 假 阳 数 目 为 59.1 时 达到 97.18%， 检 测 系 
统 的 平均 灵敏 度 为 0.880， 表 明 本 算法 可 以 提高 肺 结 节 检 测 的 灵敏 度 并 有 效 控 制 假 阳 性 ， 在 LUNA16 数据 集 上 获得 了 
更 优 的 性 能 。 
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Pulmonary nodule detection via hybrid loss based 
joint fine-tuning and multi-scale classification 


Yao Yujin, Zhang Li 
(Dept. of Electronic Engineering, Tsinghua University, Beijing 100084, China) 


Abstract: To solve the problem that lung nodule automatic detection methods for CT images can only get low sensitivities with 


a lot of false positives, this paper proposed an integrated method with hybrid loss based 3D fully convolutional network as 


candidate detection and attention-based multi-scale residual network as nodule classification. Firstly, this paper established a 3D 
fully convolutional network based on dice coefficient loss, and the network filtered hard negative samples uniting with positives 
to fine-tune. Then, it designed an attention based multi-scale 3D residual convolutional network to classify the candidate and 
recognize true nodules. Experiment results on the LUNA16 dataset show that the proposed method achieves the sensitivity of 
97.18% at 59.1 false positives per scan in the candidate detection stage, and the whole system achieves the average sensitivity 
of 0.880, which demonstrates our proposed method can improve sensitivity with fewer false positives and achieve superior 
performance. 


Key words: lung nodule detection; hybrid loss; joint fine-tune; attention; multi-scale 


环境 多 样 ， 可 能 与 血管 、 肺 壁 粘连 或 者 独立 ， 所 以 CT 图 像 的 
肺 结 节 自动 检测 充满 挑战 怕 
肺癌 是 目前 全 球 范 围 内 致死 率 最 高 的 癌症 之 一 下 典型 的 肺 结 节 自动 检测 系统 由 两 阶段 组 成 : a) 候选 结 节 检 
发 现 并 治疗 能 大 大 提高 肺癌 病人 的 存活 时 间 。 早 期 肺癌 常 。 测 ， 从 CT 中 筛选 出 疑似 肺 结 节 ， 包 含 大 量 假 阳 性 结 节 ;, b) 假 
网 为 无 症状 的 肺 结 节 ， 因 此 肺 结 节 的 检测 对 早期 肺癌 诊断 与 ”阳性 去 除 ， 通 过 更 精细 的 分 类 算法 去 除 假 阳 性 结 节 并 得 到 最 终 
疗 有 着 重要 意义 。 低 剂量 胸部 CT 是 目前 肺癌 普查 最 常用 的 。 检测 结果 。 传 统 的 检测 算法 中 要, 大 多 基于 肺 结 节 的 形 
断 方法 ， 很 多 微小 的 肺 结 节 也 能 通过 CT 被 检测 到 。 然 而 人 RA CT 值 特点 采用 图 像 处 理 方法 获得 候选 结 节 ， 然 后 提取 候 
第 查 肺 结 节 的 工作 量 大 且 诊 断 难度 大 ， 尤 其 是 随 着 早期 肺癌 。 选 结 节 的 局 部 特征 并 构建 分 类 器 进行 分 类 。Murphy 4E AAAS 
普查 的 需求 增加 ， 需 要 花费 大 量 人 力 与 时 间 进 行 CT aS PE 设计 了 形状 指数 与 曲率 特征 选取 种 子 体 素 ， 再 利用 滞后 冰 
断 。 因 此 ， 精 确 和 高 效 的 肺 结 节 自动 检测 是 非常 有 意义 的 。 由 ” 值 法 进行 种 子 生长 从 而 得 到 候选 结 节 ， 然 后 采用 了 由 粗 到 细 的 
于 肺 结 节 在 尺寸 、 形 状 、 密 度 分 布 上 的 差异 巨大 ， 所 处 的 肺 部 。 ”两 个 K- 最 近邻 分 类 器 $2, 去除 假 阳 性 结 节 。 粗 分 类 的 描 
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述 子 由 候选 结 节 体 素 块 的 几何 特征 与 灰 度 特征 共 18 个 特征 串 。” 强 对 多 尺度 结 节 的 鉴别 能 力 ， 从 而 提高 分 类 准确 率 。 本 文 的 算 
联 而 成 ， 细 分 类 的 描述 子 包含 更 丰富 的 形状 、 梯 度 特征 等 135 ”法 在 大 规模 数据 集 LUNA16 PRA 上 进行 了 验证 ， 获 得 了 
个 特征 。Jacobs 等 人 sksasmg 采用 双 阔 值 法 基于 CT 值 筛选 候 。 ”显著 的 性 能 提升 。 此 外 ， 也 通过 对 比 实验 验证 了 每 一 个 改进 算 
选 结 节 体 素 ， 并 通过 形态 学 操作 去 除 部 分 容积 效应 ， 再 利用 连 。 ”法 的 有 效 性 。 

通 域 分 析 进行 育 类 得 到 候选 结 节 ， 然 后 对 候选 结 节令 域 体 素 块 。 1 a 

提取 次 度 、 纹 理 、 形 状 和 环境 上 下 文 特征 ， 同 时 也 采用 了 由 粗 

到 细 的 二 阶段 分 类 ， 分 类 器 选取 了 集成 的 GentleBoost ***" 在 本 章 提出 了 一 个 肺 结 节 自动 检测 系统 ， 系 统 框架 如 图 1 
三 。Retico SẸ AS*2"5"% 根据 Hessian 算 阵 特征 值 与 局 部 几 ”所 示 ， 包 括 改进 的 基于 3D U-net WASARA. 的 候选 结 节 检测 和 
何 形状 的 关系 设计 滤波 函数 进行 多 尺度 结 节 增 强 ， 通 过 检测 局 。 基于 注意 力 的 多 尺度 结 节 分 类 。 
部 极 大 值 获得 候选 结 节 ， 然 后 计算 候选 结 节 三 维 邻 域 块 内 休 素  ， Sot Detection 
的 梯度 矩阵 和 Hessian 矩阵 ， 以 它们 的 特征 值 作为 描述 子 ， 并。 SS 
训练 一 个 三 层 的 神经 网 络 作为 分 类 器 。 


这 些 传统 方法 依赖 于 描述 子 的 准确 性 ， 而 肺 结 节 的 表现 形 
式 复杂 多 样 ， 人 工 设计 的 描述 子 往往 只 能 表现 表层 特征 ， 很 难 


挖掘 有 鉴别 力 的 特征 ， 因 此 很 难 区 分 真 结 节 和 类 似 结 节 〈 如 血 
T 管 、 气管 等 )。 近 年 来 随 着 深度 学 习 的 快速 发 展 , 卷 积 神经 网 络 
.一 逐渐 被 应 用 于 医学 图 像 处 理 的 各 个 领域 ， 它 可 以 在 数据 驱动 下 
自动 提取 有 鉴别 力 的 特征 。 基 于 卷 积 神经 网 络 的 研究 We 
i 思路 一 般 为 首先 训练 全 卷 积 网 络 ， 从 而 直接 得 到 
每 个 断层 的 预测 概率 图 ， 并 设 定 阔 值 选 出 候选 结 节 ， 再 以 候选 
结 节 质 心 为 中 心 截取 固定 尺寸 二 维 块 ， 由 一 个 卷 积 神经 网 络 对 。 ， ee 
其 进行 二 分 类 从 而 去 除 所 有 假 阳 结 节 。 由 于 CT 本 质 上 是 三 维 se 
体 数据 ， 仅 利用 横 截面 的 二 维 信息 是 不 够 的 ， 一 些 研究 提 H 了 o 围攻 
基于 多 视角 或 三 维 卷 积 的 算法 以 更 好 地 利用 体 数据 ts ice 
错误 1 未 找到 引用 源 。 错误 ! 未 找到 引用 源 。 Setio 等 人 误 ! 未 找到 引用 源 。 对 候选 结 节 所 在 三 | candidates G: (aiaa 
维 块 截取 了 9 个 不 同 的 二 维 截面 ， 分 别 输入 到 含 9 个 平行 独立  ，， E 汪汪 汪汪 时 
分 支 的 分 类 网 络 中 ， 网 络 的 末端 将 9 个 分 支 的 分 类 结果 进行 融 1 改进 的 肺 结 节 检 测 系统 框架 
合 得 到 最 终 三 维 块 类 别 。Dou BASEN 为 了 解决 肺 结 节 ”1.1 改进 的 基于 3D U-net 的 候选 结 节 检 测 
尺度 差异 大 的 问题 ， 以 候选 结 节 质 心 为 中 心 分 别提 取 了 三 个 不 11.1 基于 Dice 模 失 的 预 训练 模型 
同 尺度 的 三 维 块 ， 并 分 别 输入 到 三 个 不 同 的 分 类 网 络 得 到 每 个 候选 结 节 检测 步骤 首先 对 CT 进行 预 筛选 , 选 出 疑似 结 节 ， 
尺度 下 的 类 别 概率 ， 融 合 后 得 到 最 终 分 类 结果 。 此 外 ， 也 有 一 并 过 滤 掉 其 余 绝 大 部 分 体 素 ， 从 而 减少 输入 到 下 一 步 分 类 网 络 
些 研究 提出 了 基于 Faster-RCNN S88" 的 候选 结 节 检测 方 。 中 的 样本 数目 。 预 筛选 要 保证 结 节 检测 的 灵敏 度 ， 能 够 尽 可 能 
法 和 9 MARANTAN., Ding MRAM 针对 结 节 尺寸 相 多 地 保留 结 节 并 滤 除非 结 节 。 对 此 , 本 文 设计 了 一 个 基于 3DU- 
对 于 肺 部 占 比 小 的 特点 ， 在 最 后 一 个 卷 积 层 后 增加 了 反 卷 积 层 net AREE 的 分 割 网 络 。 一 方面 ， 仅 从 二 维 图 像 区 分 血管 和 
以 恢复 更 精细 的 特征 ， 同 时 设计 了 若干 固定 尺寸 的 anchor 与 结 。 结 节 几 乎 是 不 可 能 的 ， 因 此 网 络 中 的 所 有 卷 积 和 池 化 操作 都 是 
PRAMILA 面 


oH 


吧 。 然 而 仅 利 用 传统 分 割 与 分 类 的 方法 并 不 足以 解 ” 三 维 的 ， 从 而 充分 利用 CT 体 数 据 的 空间 信息 ; 另 一 方面 ， 全 
决 结 节 检 测 问题 ， 结 合 肺 结 节 的 形态 与 分 布 特点 ， 可 以 探索 更 。 卷 积 网 络 将 输出 每 个 体 素 属 于 结 节 的 概率 分 布 情况 ， 从 而 可 以 
多 新 的 策略 并 从 三 维 块 中 挖掘 出 更 具 鉴 别 力 的 信息 从 而 进一步 。 ”快速 得 到 整个 CT 体 数据 的 结 节 属 性 概率 分 布 。 如 果 以 整个 CT 
提升 系统 的 性 能 。 体 数据 作为 训练 输入 会 带 来 过 大 的 计算 量 ， 而 且 判 断 任 一 体 素 

本 文 提 出 了 一 个 改进 的 肺 结 节 检测 框架 ， 该 框架 对 系统 的 ”是 否 属于 结 节 由 它 的 局 部 CT 值 分 布 决定 ， 距 离 越 远 的 体 素 
两 个 阶段 都 进行 了 优化 。 首 先 候选 结 节 检 测 阶段 改进 为 一 个 基 ”对 于 的 预测 结果 影响 越 小 ， 因 此 本 文 截取 固定 尺寸 的 三 维 块 
于 混合 损失 进行 联合 调 优 的 三 维 全 卷 积 网 络 , 先 基于 Dice 损失 作为 训练 网 络 输 入 , 在 保证 检测 灵敏 度 的 同时 降低 计算 复杂 度 。 
em 预 训练 网 络 并 由 该 网 络 筛选 难 例 样 本 ， 再 将 难 例 与 由 于 输入 三 维 块 尺寸 较 小 ， 所 以 对 U-net 进行 了 简化 。 有 具体 网 
正 样本 基于 混合 损失 进行 联合 调 优 ， 增 强 了 对 假 阳性 样本 的 鉴 ” 络 结 构 见 图 1。 网 络 的 输出 是 分 辨 率 降 低 的 三 维 体 预 测 概率 ， 
别 能 力 。 结 节 分 类 阶段 设计 了 基于 注意 力 的 多 尺度 残 差 网 络 ， 与 输入 三 维 块 存在 对 应 关系 。 由 于 结 节 的 平均 直径 不 足 10 mm, 
利用 候选 结 节 信息 提取 局 部 注意 区 域 并 通过 多 尺度 网 络 结构 增 。 ”对 于 包含 结 节 的 56*56*56 的 三 维 块 而 言 ， 如 果 将 每 个 体 素 看 


nS 


2H 


å 


201805.00471v1 


XIV: 


china 


录用 稿 


做 一 个 样本 , 则 正 负 样本 比 约 为 1:200。 为 了 解决 这 种 正 负 样本 
极其 不 平衡 的 情况 ， 本 文选 择 了 改进 后 的 Dice ARAN 
作为 损失 函数 ， 从 而 避免 模型 向 负 样本 倾斜 。Dice 系数 通过 两 
个 集合 的 重合 率 衡量 相似 情况 ， 对 于 给 定 三 维 块 {X label}， 
XR BA, VERI XM ME, label 表示 该 三 维 块 
是 否 包含 结 节 ，1 是 正 样本 包含 结 节 ，0 是 负 样 本 不 包含 结 节 ， 
可 得 Dice 损失 函数 为 


» PO =1|X,W) 
L {voxel 1,...,i..N} 


ae yt PO, =1|X,W) 
N} 


{voxel lbs N} {voxel lpo) 


a) 


HH: 丈 表 示 网 络 参 数 ， 和 ii 表示 每 个 体 素 的 真实 类 别 0 1; 
人 入 表示 每 个 体 素 的 预测 类 别 。 对 于 包含 结 节 的 三 维 块 ，Dice 损 
失 函 数 使 得 结 节 更 倾向 于 被 检测 到 ， 可 以 提高 检测 的 灵敏 度 ; 
但 是 对 于 不 包含 结 节 的 三 维 块 ，Dice 损失 函数 恒 为 零 ， 因 此 训 
练 该 网 络 的 所 有 输入 样本 至 少 包含 一 个 结 节 。 
1.1.2 难 例 筛选 与 联合 调 优 机 制 

上 述 算 法 可 以 识别 一 部 分 非 结 节 ， 但 缺乏 对 类 似 结 节 的 负 
样本 的 鉴别 能 力 。 对 于 非 结 节 ， 大 部 分 是 肺 部 背景 区 域 ， 较 易 
与 结 节 区 分 ， 还 有 一 部 分 则 是 血管 、 气 门 的 CT 值 与 结 
节 接 近 且 局 部 形态 相似 ,这 类 非 结 节 虽 然 占 少数 但 鉴别 难度 大 ， 
在 训练 中 增加 这 类 样本 更 有 利于 提高 检测 网 络 的 鉴别 能 力 。 为 
了 进一步 利用 这 些 难 例 样 本 ， 本 文 设计 了 难 例 挖 据守 
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用 源 。 以 滤 除 肺 实质 之 外 的 假 阳 性 结 


医学 图 像 问题 中 常 
算法 ， 本 文 筛选 得 到 了 所 


aon 
Ho 


这 也 是 许多 基于 肺 的 


j 的 预 处 理 步 又 。 至 此 ， 通 过 候选 结 节 检 测 


疑似 结 节 


Ate Zak 


属性 概率 分 布 。 


， 包 括 它们 的 三 维 位 置 、 


1.2 ”基于 注意 力 的 多 尺度 结 节 分 类 网 络 


从 前 一 阶段 获得 了 候选 结 节 后 ， 这 一 阶段 需要 从 候选 结 节 
# 出 真正 的 结 节 。 为 此 ， 本 文 设计 了 
LAYS FRE APSHA. RE ae 9 福 


HAETIY 


ERRIA PH K APR FER 
aa 解决 了 网 络 深度 加 深 以 后 的 性 能 退化 问题 , 医 
像 任务 中 表现 
模块 y = F(x, {W} +x ,zx 与》 分别 
是 一 个 包含 卷 积 、batch normalization (BN) 千林 找到 引用 源 ,、\ 
linear unit (ReLU) 的 非 线性 变换 ， 
类 任务 中 加 入 残 差 模块 将 
A ERRIA AB JAT 
该 阶段 常 以 候选 结 节 的 质心 为 中 


8 强大 的 性 能 。 


在 提出 


其 于 三 维 


个 


而 在 多 个 图 
的 分 类 网 络 中 加 入 了 残 差 


是 模块 的 输入 与 输出 , F() 


rectified 


具体 结构 见 图 2。 在 这 个 分 


测 到 的 肺 结 节 
图 像 与 对 应 类 别 ， 这 存在 


SIT RE 
下 用 源 。 从 而 


反 向 传播 ， 同 时 使 网 络 具 
助 于 模型 优化 。 


对 块 进行 二 分 类 ， 所 有 预测 概率 大 于 阔 值 的 候选 结 节 即 为 检 


心 提取 固定 斥 十 的 三 维 


块 


确 分 类 也 是 


无 法 表达 不 同 尺 寸 的 结 节 人 
含 结 节 本 身 ， 还 应 包含 结 节 附 


。 一 般 情况 下 ， 分 类 网 络 的 输入 包括 固定 尺寸 的 
个 问题 ， 第 一 ， 单 一 尺度 的 图 像 块 
者 息 。 正 确 分 类 要 求 三 维 


近 的 肺 


块 中 不 仅 包 


实质 环境 信息 ， 这 对 于 正 


E 常 关键 的 。1 


C Ht oe 
J 市 结 


联合 调 优 的 机 制 。 首 先 利 用 1.1.1 节 训 练 得 到 的 模型 对 所 有 
不 含 结 节 的 负 样 本 进行 检测 ， 预 测 概率 大 于 设 定 阐 值 的 体 素 被 
认为 是 假 阳 结 节 ， 所 有 包含 假 阳 结 节 的 负 样 本 就 是 挖掘 出 来 的 
难 例 。 难 例 与 正 样本 共同 进行 调 优 训 练 ， 但 由 于 负 样 本 的 Dice 
损失 恒 为 零 ， 所 以 选择 改进 的 交叉 炳 作为 负 样 本 的 损失 函数 ， 
正 样 本 仍 以 Dice 系数 为 损失 函数 , 从 而 得 到 调 优 模型 的 损失 函 
数 为 


ylogp@=1|X,W+( yogad pÈ, =1|X,W)(2) 
N} 


寸 较 大 的 结 节 需 要 更 大 的 


结 节 信息 ， 并 且 只 能 包含 少量 的 环 


小 的 结 节 ， 负 


信息 ， 包 括 用 
分 类 是 至 关 重 要 的 。 如 果 对 输入 图 像 块 的 每 个 体 素 赋予 权重 ， 
该 获得 更 大 的 权 值 ， 而 距离 结 节 中 
解决 上 述 两 


用 于 分 类 


节 的 尺寸 范围 广 ， 对 于 尺 
， 否 则 可 能 无 法 包含 所 有 


we Pica, WER TR 
[0 果 块 太 大 会 导致 块 中 包 而 
环境 信息 宛 余 。 第 二 ， 仅 将 图 像 块 作 


含 的 结 节 信息 占 比 过 小 


为 输入 损失 了 一 部 分 标注 


结 节 在 块 中 的 位 置 、 占 


比 ， 这 部 分 结 节 信 息 对 于 


那么 接近 结 节 中 心 的 体 素 应 
心 越 远 则 影响 越 小 。 为 了 


分 类 的 重要 


as 


个 问题 ， 本 文 设计 了 基 了 


性 不 完全 相同 ， 视 觉 注意 


| 别 力 的 区 daly RSIS 错误 ! 未 找到 引用 


N roe ta 注意 力 的 多 尺度 网 络 结构 和 下， 

Ls =2* sigmoid(L,.) 2, Ling = Lec G) 图 像 中 的 各 个 部 分 对 
L=\(label= DXL pos +1(label = 0) Leg (4) 力 机 {fill 需要 找 到 Z] 像 中 H 类 

其 中 : Loe 是 交叉 炉 损失 的 定义 ; sigmoid(x) = 1/(L+e- RZ 。 ”*， 而 这 里 的 注意 区 域 是 可 

IRKIT sigmoid 变换 是 为 了 使 正 负 样本 的 损失 值 处 于 相 。” 节 质心 。 具 体 来 说 ， 对 于 i 

同 的 范围 ，Lpos 和 Lneg 分 别 为 正 负 样本 的 损失 ，1(label = 1) 是 ，” 结 节 质心 位 置 与 直径 ， 负 村 

指示 函数 ， 表 示 对 正 负 样 本 采用 不 同 的 损失 ; L 为 调 优 网 络 的 

混合 损失 函数 。 段 ， 同 样 可 由 候选 结 节 检 沉 

在 测试 阶段 ， 由 于 全 卷 积 网 络 对 输入 尺寸 没有 限制 ， 直 接 %2. 
将 整个 CT 体 数据 输入 到 网 络 中 ， 得 到 体 预测 概率 ， 而 输出 每 eae =p 


个 体 素 可 以 直接 定位 到 对 应 的 输入 体 素 ， 从 而 可 得 整个 CT 的 
结 节 属 性 概率 分 布 。 通 过 对 体 预 测 概率 进行 极 值 检测 即 可 获得 
CT 中 的 所 有 疑似 结 节 。 
于 以 上 结 节 检 测 的 训练 网 络 的 输入 只 包含 局 部 信息 ， 无 
法 获得 全 局 上 下 文 信息 ， 所 以 肺 实质 外 部 会 产生 大 量 假 阳 性 结 
节 。 为 了 解决 这 一 问题 ， 本 文采 用 了 肺 分 割 算 法 错误 ! 未 找到 引 


ae 


以 


直接 获得 的 ， 注 意 力 中 心 即 为 结 


| 练 阶段 ， 


直接 上 


正 样本 可 


标注 获得 


本 则 | 


候选 结 节 检测 网 络 进行 难 例 


筛选 后 得 到 ， 同 时 可 得 假 阳性 结 节 的 质心 与 直径 ， 对 于 测试 阶 


分 支 ， 


I 网 络 获得 


E 图 像 块 (X,Y,L), 其 中 工 
或 假 阳 结 节 信 息 (x,yz,qd)， 网 络 结构 的 隐 


候选 结 节 的 三 维 位 置 和 直 


表示 输入 三 维 块 的 
居 包 含 两 个 平行 独立 的 


结 节 


局 部 分 支 以 结 节 质心 为 中 心 提取 局 


寸 为 结 节 尺寸 的 2 倍 ， 并 将 其 重 采 样 


接 以 完整 图 像 块 作为 输入 ， 


全 局 分 支 为 括号 内 的 配置 ， 
得 到 基于 全 局 块 和 


个 分 支 的 网 络 结构 如 图 2， 其 


部 注意 区 域 ， 区 域 尺 
至 固定 尺寸 ， 全 局 分 文 直 
中 


其 他 均 与 


局 部 块 的 二 类 概率 分 布 p(Y|X, Wglobal) 和 


局 部 分 支 一 致 ， 可 以 分 别 
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录用 稿 WF, F: 基于 混合 损失 联合 调 优 与 多 尺度 分 类 相 结合 的 肺 结 节 检测 算法 


DCYX 天 Woc)， 最 终 网 络 输出 的 二 类 概率 分 布 通过 这 两 个 概 Lasagne 深度 学 习 框 架 的 Theano 实现 。 


率 分 布 的 加 权 组 合 得 到 如 下 : 2.2 ”实验 结果 与 分 析 
p(¥ = 1|X, L, W giova Wioc) = 2.2.1 候选 结 节 检 测 结果 
a-p(¥ = 1|X, L, Wisc) + (1 - a) : pÊ = 1|X, Woova) (5) 为 了 验证 提出 的 候选 结 节 检测 算法 的 有 效 性 ， 设 计 了 三 组 


权重 Q@ 是 由 两 个 分 支 的 Softmax 层 经 过 两 个 全 连接 得 到 的 对 比 实验 ， 它 们 都 采用 相同 的 简化 3D U-net 网 络 结构 。 首 先 ， 
隐 层 ， 见 图 1， 因 此 它 也 是 由 网 络 自学 习 得 到 的 ， 可 以 灵活 地 ”本 文 分 别 训练 了 基于 交叉 灶 损 失 与 Dice 损失 的 模型 , 实验 结果 


根据 两 个 分 支 鉴 别 能 力 的 强 弱 进 行 加 权 组 合 。 最 后 得 到 分 类 网 MR 1。 对 比 这 两 组 结果 ， 与 交叉 焙 损 失 相 比 ， 采 用 Dice 损失 
络 的 损失 函数 如 下 : 大 大 提高 了 候选 结 节 


检测 的 灵敏 度 , 这 说 明 Dice 损失 更 能 检 出 
1 本 2 r 所 有 疑似 结 节 ， 但 是 假 阳 数 有 所 增加 。 进 一 步 地 ， 本 文 加 入 了 
L= 一 jog pW” |X, Waiora Wo) + Wasal, +l, ) (6) PRESE y specif 7 a sy 
N : ME IIe SKA VAAL, BESET REAR 551 065 例 ， 


其 中 : 第 一 项 是 由 对 数 似 然 函数 定义 的 结 节 分 类 损失 ， 第 二 项 A ME Bi Sifts aA RB EAS 35 118 例 ， 说明 
是 正则 项 ; 为 了 防止 过 拟 合 , 4 是 权重 衰减 参数 , 用 于 调节 模型 AA 6.4% 的 负 样 本 与 结 节 相似 , 它们 与 正 样本 进行 联合 调 优 得 


复杂 度 对 损失 函数 的 影响 。 到 最 终 的 检测 模型 。 从 表 1 的 结果 来 看 ， 该 机 制 降低 了 假 阳性 
T (Residual blok T í 结 节 的 误 检 率 ，FPs/scan 从 86.9 降低 至 59.1， 同 时 保持 了 高 灵 

ok EER m Eagle ps; 敏 度 ， 这 说 明 难 例 联合 调 优 增强 了 网 络 对 于 真 假 阳性 样本 的 鉴 
Bia | 9 旧址 Hii rerew aT ERT 别 能 力 。 为 了 进一步 证 明 难 例 筛选 与 预 训练 模型 的 必要 性 ， 本 
E a o 文 设计 了 一 个 直接 由 正 负 样本 基于 混合 损失 训练 的 网 络 。 从 结 


果 可 以 看 出 ， 与 本 文 提 出 的 候选 结 节 检测 算法 相 比 ， 将 不 经 得 
图 2 结 节 分 类 网 络 的 局 部 分 支 结构 选 的 负 样 本 与 正 样本 直接 联合 训练 得 到 的 网 络 鉴别 能 力 与 灵敏 


2 ”实验 设计 与 结果 分 析 aaa 


表 1 候选 结 节 检测 对 比 算 法 结果 


本 文 在 大 规模 公开 数据 集 LUNA162U 上 验证 算法 。 该 数据 方法 sensitivity FPs/scan 
集 来 自 于 公开 数据 库 LIDC-IDRI “到 "由 专家 经 过 一 系 FEF eT 82.86% 62.5 
Fl Hise AUPE Ja BS. LUNA16 包含 888 张 低 剂量 CT, 同时 给 基于 Dice 损失 97.14% 86.9 
出 了 肺 结 节 中 心 位 置 和 直径 的 标注 。 实 验 时 , 将 LUNA16 数据 基于 混合 损失 95.23% 80.2 
集 随 机 分 成 10 个 子 集 进行 交 义 验证 。 评 价 指标 包括 灵敏 度 和 是 出 的 算法 97.18% 59.1 
每 张 扫描 的 平均 假 阳 数目 (FPs/scan)。LUNA16 竞赛 还 通过 2.2.2 结 节 分 类 结 
competition performance metric (CPM) ?1 衡量 算法 性 能 。CPM 对 于 结 节 分 类 阶段 ， 为 了 验证 残 差 模块 与 多 尺度 结构 的 有 
指 在 不 同 FPs/scan (1/8, 1/4, 1/2, 1, 2, 4,8) 下 的 平均 灵敏 度 。 效 性 ， 本 文 实现 了 三 个 网 络 结构 ， 分 别 是 传统 卷 积 分 类 网 络 、 


对 整个 系统 而 言 , 当 检测 到 的 结 节 位 于 真正 结 节 的 半径 范围 内 ， 加 入 残 差 模块 的 卷 积分 类 网 络 和 基于 注意 力 的 多 尺度 残 差分 类 


即 认为 这 是 一 次 正确 的 检测 。 网 络 ， 并 采用 受 试 者 特征 (free-response receiver operating 
2.1 实现 细节 characteristic, FROC) 曲线 名 器 林 拒 到 引用 源 。 利 | CPM PFRRASHW. Jeri 
于 CT 扫描 可 能 来 自 不 同 设备 ， 切 片 厚度 不 完全 相同 ， 量 分 析 。FROC 曲线 可 以 直观 地 反映 不 同 假 阳 性 数目 下 的 系统 


所 以 首先 将 数据 重 采 样 至 1mm*1mm*1mm, 保证 数据 的 一 致 性 。 灵敏 度 ,实验 结果 见 图 3。 三 个 网 络 结构 在 结 节 分 类 阶段 的 CPM 
为 了 增加 样本 的 多 样 性 , 对 正 样本 进行 了 数据 扩 增 , 包括 在 xyz ”分 别 为 0.832, 0.848 和 0.880, 说 明 在 这 一 任务 中 , 残 差 模块 有 
方向 进行 [-8, 8] 随 机 平移 、 翻 转 ，[0.9, 1.1] 的 随机 尺度 变化 ， 随 ”” 助 于 模型 优化 并 提升 网 络 的 性 能 ， 而 基于 注意 力 的 多 尺度 结构 
机 全 旋转 [-180°, 180°], 设 定 这 些 参 数 能 够 尽量 使 结 节 留 在 原 结 。 则 有 效 利用 了 疑似 结 节 的 位 置 和 直径 信息 ， 进 一 步 提 高 分 类 网 
节 质 心 附近 的 30*30*30 的 立方 体内 。 候 选 结 节 检测 阶段 的 训 。” 络 的 鉴别 能 力 ， 证 明了 多 尺度 结构 的 有 效 性 。 图 3 进一步 展示 
练 块 尺寸 为 (56*56*56)， 结 节 分 类 阶段 的 输入 块 尺寸 为 了 提出 的 算法 与 已 有 肺 结 节 检 测算 法 [15] 错 误 ! 未 找到 引用 源 。 


(60*60*30)， 局 部 块 的 尺寸 为 《20*20*20)。 网 络 采用 随机 梯度 ”的 性 能 比较 。 由 图 可 见 ， 多 尺度 残 差 网 络 获得 了 最 佳 性 能 。 

下 降 法 进行 优化 ,， 预 训练 3D U-net 的 权重 随机 初始 化 为 高 斯 分 在 提出 的 多 尺度 分 类 算法 中 ， 两 个 分 支 预 测 概率 的 权重 是 
Ai M0,0.01), 初始 学 习 率 设置 为 0.001, 联合 调 优 网 络 的 初始 学 网 络 自学 习 一 组 权重 参数 得 到 的 。 为 了 验证 自学 习 权重 参数 
习 率 设置 为 0.0001， 正 负 样 本 比例 1: 1。 候 选 结 节 检 测 阶段 的 的 有 效 性 ， 设 计 了 一 系列 对 比 实验 将 权重 设置 为 固定 值 


难 例 选 取 闵 值 与 极 值 检 测 立 值 均 设置 为 0.8。 结 节 分 类 网 络 的 参 a = 0~1(step = 0.1)， 从 而 得 到 在 不 同 权 重 下 的 多 尺度 网 络 
数 随机 初始 化 同 错误 ! 未 找到 引用 源 。。 结 节 分 类 损失 中 的 参数 
A 设置 为 1e-4。 本 文 算法 在 Nvidia Titan X GPU 上 使 用 基于 
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PS 


4 所 示 。 结 果 表 明 


利用 


了 单 


接近 时 ， 更 能 充分 利 ) 
步 地 , 提出 算法 


EERE 


0.5 0.6 0.7 0.8 
weight a 


fan 


af, a 


取 较 小 或 较 大 都 只 
分 支 的 信息 ， 性 能 不 佳 ， 而 当 两 个 分 支 的 融合 比例 
] 两 个 分 支 的 结果 ， 性 能 达到 最 优 。 进 


的 平均 灵敏 度 0.880 高 于 


任意 固守 


说 明 提出 的 算法 可 以 根据 两 个 分 支 的 表征 能 


同 的 权重 ， 从 


Sentivity 
d 
& 
8 


j 更 有 效 地 利用 两 个 分 支 信息 。 


ZNET, CPM=0.811 


DIAG_Convnet, CPM=0.854 


JackFPR, CPM=0.872 
Convnet, CPM=0.832 


se 一 Resnet, CPM=0.848 
Multi-scale Resnet, CPM=0.880 


0.25 0.5 


1 2 4 


False Positives Per Scan 


图 3 不 同 网 络 , 算 法 的 FROC 曲线 及 CPM 比较 
0.87 
0.86 
33 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 
weight a 
图 4 不 同 权 值 的 多 尺度 网 络 的 CPM 比较 
3 ”结束 语 


本 文 针 对 CT 图 像 的 肺 结 
的 方法 ， 该 方法 首先 利 
网 络 检测 候选 结 节 ， 


pes 
节 


动 检 测 任务 提出 了 一 个 改进 


改进 U-net K IEIZ 


昌 并 联合 调 优 的 


iu 


CERI 


E 高 灵敏 度 的 同时 降低 了 假 阳 率 ; 


然后 采用 基于 注意 力 的 多 尺度 残 差 网 络 对 候选 结 节 进行 分 类 ， 


充分 利用 


题 。LUNA16 上 的 实验 结果 验证 了 
过 了 已 有 算法 的 怕 
度 差 异 大 这 两 个 问题 进行 了 探索 ， 并 获得 了 更 4 


了 结 节 位 


及 尺寸 信息 


E 能 。 本 文 方法 


解决 了 结 节 


J 


尺度 差异 大 的 问 
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